联合学习（FL）是一个分布式的机器学习范式，可从分散的私人数据集中进行学习模型，在该数据集中将标签工作委托给客户。尽管大多数现有的FL方法都假定用户的设备很容易获得高质量的标签。实际上，标签噪声自然会发生在FL中，并遵循非i.i.d。客户之间的分布。由于非IID的挑战，现有的最先进的集中式方法表现出不令人满意的性能，而先前的FL研究依靠数据交换或重复的服务器端援助来提高模型的性能。在这里，我们提出了Fedln，这是一个框架，可以在不同的FL训练阶段处理标签噪声；即，FL初始化，设备模型培训和服务器模型聚合。具体而言，FedLN在单个联合回合中计算每客户噪声级估计，并通过纠正（或限制）噪声样本的效果来改善模型的性能。与其他现有方法相比，对各种公开视觉和音频数据集的广泛实验平均提高了24％，标签噪声水平为70％。我们进一步验证了FedLN在人类通知的现实世界嘈杂数据集中的效率，并报告了模型的识别率平均增长了9％，这强调了FEDLN对于改善提供给日常用户的FL服务很有用。

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。

这项工作介绍了Brillsson，这是一种基于二进制神经网络的新型表示模型，用于广泛的非语义语音任务。我们从一个大型且价值的琐事模型中使用知识蒸馏来训练该模型，其中仅用于训练Trillsson的数据集中只有一小部分。由此产生的Brillsson型号的尺寸仅为2MB，潜伏期小于8ms，使其适合在低资源设备（例如可穿戴设备）中部署。我们在八项基准任务（包括但不限于口语识别，情感识别，荒地状况诊断和关键字斑点）上评估布里尔森，并证明我们提出的拟议的超轻质和低延迟模型以及大型模型以及大型模型。

睡眠对婴儿，儿童和青少年的健康尤为重要，睡眠评分是准确诊断和治疗潜在的威胁生命状况的第一步。但是，与成人睡眠相比，儿科睡眠在健康的情况下与成人睡眠相比严重研究，并且为成年人开发的睡眠评分算法通常在婴儿身上表现不佳。在这里，我们介绍了最近在标准临床护理期间收集的最近大规模的小儿睡眠研究数据集中的第一个自动睡眠评分结果。我们开发了一个基于变压器的监督学习模型，该模型学会从数百万多通道脑电图（EEG）睡眠时期分类五个睡眠阶段，总体准确性为78％。此外，我们根据患者人口统计学和脑电图通道对模型性能进行了深入的分析。结果表明，对小儿睡眠的机器学习研究的需求日益增长。

深度神经网络在一系列任务上的性能显着提高，对计算资源的需求不断增长，从而使低资源设备（内存和电池电量有限）的部署不可行。与实价模型相比，二元神经网络（BNNS）在极端的压缩和加速增长方面解决了问题。我们提出了一种简单但有效的方法，通过通过早期验证策略统一BNN来加速推理。我们的方法允许简单实例根据决策阈值尽早退出，并利用添加到不同中间层的输出层以避免执行整个二进制模型。我们对三个音频分类任务以及四个BNNS架构进行了广泛评估我们的方法。我们的方法证明了有利的质量效率权衡，同时可以通过系统用户指定的基于熵的阈值来控制。它还基于现有的BNN体系结构而无需进行不同效率水平的单个模型，从而获得更好的加速（延迟小于6ms）。它还提供了一种直接的方法来估计样本难度和对数据集中某些类别周围不确定性的更好理解。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

神经网络可以从单个图像中了解视觉世界的内容是什么？虽然它显然不能包含存在的可能对象，场景和照明条件 - 在所有可能的256 ^（3x224x224）224尺寸的方形图像中，它仍然可以在自然图像之前提供强大的。为了分析这一假设，我们通过通过监控掠夺教师的知识蒸馏来制定一种训练神经网络的培训神经网络。有了这个，我们发现上述问题的答案是：“令人惊讶的是，很多”。在定量术语中，我们在CiFar-10/100上找到了94％/ 74％的前1个精度，在想象中，通过将这种方法扩展到音频，84％的语音组合。在广泛的分析中，我们解除了增强，源图像和网络架构的选择，以及在从未见过熊猫的网络中发现“熊猫神经元”。这项工作表明，一个图像可用于推断成千上万的对象类，并激励关于增强和图像的基本相互作用的更新的研究议程。

Compliance in actuation has been exploited to generate highly dynamic maneuvers such as throwing that take advantage of the potential energy stored in joint springs. However, the energy storage and release could not be well-timed yet. On the contrary, for multi-link systems, the natural system dynamics might even work against the actual goal. With the introduction of variable stiffness actuators, this problem has been partially addressed. With a suitable optimal control strategy, the approximate decoupling of the motor from the link can be achieved to maximize the energy transfer into the distal link prior to launch. However, such continuous stiffness variation is complex and typically leads to oscillatory swing-up motions instead of clear launch sequences. To circumvent this issue, we investigate decoupling for speed maximization with a dedicated novel actuator concept denoted Bi-Stiffness Actuation. With this, it is possible to fully decouple the link from the joint mechanism by a switch-and-hold clutch and simultaneously keep the elastic energy stored. We show that with this novel paradigm, it is not only possible to reach the same optimal performance as with power-equivalent variable stiffness actuation, but even directly control the energy transfer timing. This is a major step forward compared to previous optimal control approaches, which rely on optimizing the full time-series control input.

Recent advances in deep learning have enabled us to address the curse of dimensionality (COD) by solving problems in higher dimensions. A subset of such approaches of addressing the COD has led us to solving high-dimensional PDEs. This has resulted in opening doors to solving a variety of real-world problems ranging from mathematical finance to stochastic control for industrial applications. Although feasible, these deep learning methods are still constrained by training time and memory. Tackling these shortcomings, Tensor Neural Networks (TNN) demonstrate that they can provide significant parameter savings while attaining the same accuracy as compared to the classical Dense Neural Network (DNN). In addition, we also show how TNN can be trained faster than DNN for the same accuracy. Besides TNN, we also introduce Tensor Network Initializer (TNN Init), a weight initialization scheme that leads to faster convergence with smaller variance for an equivalent parameter count as compared to a DNN. We benchmark TNN and TNN Init by applying them to solve the parabolic PDE associated with the Heston model, which is widely used in financial pricing theory.

In a sequential decision-making problem, having a structural dependency amongst the reward distributions associated with the arms makes it challenging to identify a subset of alternatives that guarantees the optimal collective outcome. Thus, besides individual actions' reward, learning the causal relations is essential to improve the decision-making strategy. To solve the two-fold learning problem described above, we develop the 'combinatorial semi-bandit framework with causally related rewards', where we model the causal relations by a directed graph in a stationary structural equation model. The nodal observation in the graph signal comprises the corresponding base arm's instantaneous reward and an additional term resulting from the causal influences of other base arms' rewards. The objective is to maximize the long-term average payoff, which is a linear function of the base arms' rewards and depends strongly on the network topology. To achieve this objective, we propose a policy that determines the causal relations by learning the network's topology and simultaneously exploits this knowledge to optimize the decision-making process. We establish a sublinear regret bound for the proposed algorithm. Numerical experiments using synthetic and real-world datasets demonstrate the superior performance of our proposed method compared to several benchmarks.